我们考虑使用最新的MultieRlex数据集中考虑法律主题分类中的零射击跨语性转移。由于原始数据集包含并行文档,这对于零拍传输不现实是不现实的,因此我们开发了一个没有并行文档的数据集的新版本。我们使用它来表明,基于翻译的方法非常优于多绘制预训练的模型,这是多曲线的最佳先前的零弹性传输方法。我们还开发了一种双语的教师零摄像转移方法,该方法利用了目标语言的其他未标记文档,并且比直接在标记的目标语言文档上进行微调的模型更好。
translated by 谷歌翻译
We extend Textual Inversion to learn pseudo-words that represent a concept at different resolutions. This allows us to generate images that use the concept with different levels of detail and also to manipulate different resolutions using language. Once learned, the user can generate images at different levels of agreement to the original concept; "A photo of $S^*(0)$" produces the exact object while the prompt "A photo of $S^*(0.8)$" only matches the rough outlines and colors. Our framework allows us to generate images that use different resolutions of an image (e.g. details, textures, styles) as separate pseudo-words that can be composed in various ways. We open-soure our code in the following URL: https://github.com/giannisdaras/multires_textual_inversion
translated by 谷歌翻译
In recent years, graph neural networks (GNNs) have emerged as a promising tool for solving machine learning problems on graphs. Most GNNs are members of the family of message passing neural networks (MPNNs). There is a close connection between these models and the Weisfeiler-Leman (WL) test of isomorphism, an algorithm that can successfully test isomorphism for a broad class of graphs. Recently, much research has focused on measuring the expressive power of GNNs. For instance, it has been shown that standard MPNNs are at most as powerful as WL in terms of distinguishing non-isomorphic graphs. However, these studies have largely ignored the distances between the representations of nodes/graphs which are of paramount importance for learning tasks. In this paper, we define a distance function between nodes which is based on the hierarchy produced by the WL algorithm, and propose a model that learns representations which preserve those distances between nodes. Since the emerging hierarchy corresponds to a tree, to learn these representations, we capitalize on recent advances in the field of hyperbolic neural networks. We empirically evaluate the proposed model on standard node and graph classification datasets where it achieves competitive performance with state-of-the-art models.
translated by 谷歌翻译
我们定义了更广泛的腐败过程,该过程概括了先前已知的扩散模型。为了扭转这些一般的扩散,我们提出了一个称为“软得分匹配”的新目标,可以证明可以学习任何线性腐败过程的得分功能,并为Celeba提供最先进的结果。软得分匹配结合了网络中的降解过程,并训练模型以预测腐败与扩散观察相匹配的干净图像。我们表明,我们的目标在适当的规律性条件下为腐败过程的家庭学习了可能性的梯度。我们进一步开发了一种原则性的方法,以选择一般扩散过程的损坏水平和一种我们称为动量采样器的新型抽样方法。我们评估了我们的框架,腐败是高斯模糊和低幅度添加噪声。我们的方法在Celeba-64上获得了最先进的FID得分$ 1.85 $,表现优于所有以前的线性扩散模型。与香草deno的扩散相比,我们还显示出显着的计算益处。
translated by 谷歌翻译
时间序列预测是重要的应用领域的核心,对机器学习算法构成了重大挑战。最近,神经网络体系结构已广泛应用于时间序列的预测问题。这些模型中的大多数都是通过最大程度地减少损失函数来衡量预测偏离实际值的训练的。典型的损耗函数包括均方根误差(MSE)和平均绝对误差(MAE)。在存在噪声和不确定性的情况下,神经网络模型倾向于复制时间序列的最后观察值,从而限制了它们对现实数据的适用性。在本文中,我们提供了上述问题的形式定义,还提供了观察到问题的预测的一些示例。我们还提出了一个正规化项,对先前看到的值的复制进行了惩罚。我们在合成数据集和现实世界数据集上评估了拟议的正规化项。我们的结果表明,正则化项会在一定程度上缓解上述问题,并产生更健壮的模型。
translated by 谷歌翻译
本文报道了机器人研究人员的见解,该洞察力参加了由德国卡尔斯鲁赫(Karlsruhe)的Kerntechnische Hilfdienst GmbH(KHG)进行的为期5天的核灾难反应现场演习。德国核工业建立了KHG,为核事故提供了机器人辅助的紧急响应能力。我们对所使用的设备进行系统描述;机器人操作员的培训计划;现场锻炼和机器人任务;练习期间遵循的协议。此外,我们还提供了基于这些观察结果来推进灾难响应机器人技术的见解和建议。具体而言,性能的主要退化来自对操作员的认知和注意力需求。此外,除了易用性外,机器人平台和模块还应旨在保持健壮和可靠。最后,由于紧急响应利益相关者通常对使用自主系统持怀疑态度,因此我们建议采用可变的自主权范式将自主机器人的能力与人类的自主机器人能力逐渐融合在一起。远程操作和自主权之间的这种中间立场可以增加最终用户的接受,同时直接减轻操作员的机器人控制负担并保持人类陆路的弹性。
translated by 谷歌翻译
我们证明了快速混合并表征了langevin算法的固定分布,用于反转随机加权DNN发电机。该结果将手和Voroninski的工作从有效的反转到有效的后部采样。实际上,为了提高表达性,我们建议在预训练的生成模型的潜在空间中进行后验采样。为了实现这一目标,我们在StyleGAN-2的潜在空间中训练基于分数的模型,并使用它来解决反问题。我们的框架,得分引导的中间层优化(SGILO),通过用中间层中的生成性先验代替稀疏正则化来扩展先前的工作。在实验上,我们对先前的最新面临,尤其是在低测量方案中获得了显着改善。
translated by 谷歌翻译
我们介绍了一种使用Nerf式生成模型解决逆问题的新框架。给出了单一的2-D图像和已知相机参数的3-D场景重建问题感兴趣。我们展示了天真地优化潜伏的空间,导致伪影和糟糕的新颖观看渲染。我们将此问题归因于3-D几何形状清晰的音量障碍物,并在新颖视野的渲染中变得可见。我们提出了一种新颖的辐射场正则化方法,以获得更好的3-D表面和改进的新颖观点,给定单一视图观察。我们的方法自然地扩展到一般逆问题,包括若有所述,其中仅部分地观察到单一视图。我们通过实验评估我们的方法,实现视觉改进和性能在广泛的任务中升高了基线。与以前的现有技术相比,我们的方法达到了30-40美元的MSE减免和15-25美元的LPIP损失减少。
translated by 谷歌翻译
Dascim(数据科学和采矿)在Ecole Polytechnique的Lix的一部分,于2013年成立,从那时起,通过机器和深度学习方法生产大规模数据分析领域。本集团在NLP领域专门积极活跃,并在方法论和资源水平上具有有趣的结果。在此遵循我们对AFIA社区的不同贡献。
translated by 谷歌翻译
Graph神经网络(GNN)最近已成为使用图的机器学习的主要范式。对GNNS的研究主要集中于消息传递神经网络(MPNNS)的家族。与同构的Weisfeiler-Leman(WL)测试类似,这些模型遵循迭代的邻域聚合过程以更新顶点表示,并通过汇总顶点表示来更新顶点图表。尽管非常成功,但在过去的几年中,对MPNN进行了深入的研究。因此,需要新颖的体系结构,这将使该领域的研究能够脱离MPNN。在本文中,我们提出了一个新的图形神经网络模型,即所谓的$ \ pi $ -gnn,该模型学习了每个图的“软”排列(即双随机)矩阵,从而将所有图形投影到一个共同的矢量空间中。学到的矩阵在输入图的顶点上强加了“软”顺序,并基于此顺序,将邻接矩阵映射到向量中。这些向量可以被送入完全连接或卷积的层,以应对监督的学习任务。在大图的情况下,为了使模型在运行时间和记忆方面更有效,我们进一步放松了双随机矩阵,以使其排列随机矩阵。我们从经验上评估了图形分类和图形回归数据集的模型,并表明它与最新模型达到了性能竞争。
translated by 谷歌翻译